Hệ thống AI tạo sinh được xây dựng bằng cách áp dụng học máy không giám sát hoặc tự giám sát cho một tập dữ liệu. Khả năng của hệ thống AI tạo sinh phụ thuộc vào mô-đun hoặc loại của tập dữ liệu được sử dụng.

AI tạo sinh có thể là đơn mô-đun hoặc đa mô-đun; hệ thống đơn mô-đun chỉ nhận một loại đầu vào, trong khi hệ thống đa mô-đun có thể nhận nhiều hơn một loại đầu vào.[19] Ví dụ, GPT-4 của OpenAI chấp nhận cả đầu vào văn bản và hình ảnh.[20]

• Văn bản: Các hệ thống AI tạo sinh được đào tạo trên các từ hoặc ký tự đại diện cho từ bao gồm GPT-3, LaMDA, LLaMA, BLOOM, GPT-4, v.v. Chúng có khả năng xử lý ngôn ngữ tự nhiên, dịch tự động và tạo ngôn ngữ tự nhiên và có thể được sử dụng làm mô hình nền tảng cho các tác vụ khác.[21] Các tập dữ liệu bao gồm BookCorpus, Wikipedia, v.v.
• Mã: Ngoài văn bản ngôn ngữ tự nhiên, các mô hình ngôn ngữ lớn có thể được đào tạo trên văn bản ngôn ngữ lập trình, cho phép chúng tạo mã nguồn cho các chương trình máy tính mới.[22] Ví dụ bao gồm OpenAI Codex.
• Hình ảnh: Các hệ thống AI tạo sinh được đào tạo trên các tập hình ảnh có chú thích văn bản bao gồm Imagen, DALL-E, Midjourney, Adobe Firefly, Stable Diffusion và các hệ thống khác. Chúng thường được sử dụng để tạo hình ảnh từ văn bản và chuyển đổi phong cách hình ảnh.[23] Các tập dữ liệu bao gồm LAION-5B và các tập dữ liệu khác.
• Phân tử: Các hệ thống AI tạo sinh có thể được đào tạo trên các chuỗi axit amin hoặc các biểu diễn phân tử như SMILES đại diện cho DNA hoặc protein. Các hệ thống này, như AlphaFold, được sử dụng để dự đoán cấu trúc protein và tìm kiếm thuốc.[24] Các tập dữ liệu bao gồm các tập dữ liệu sinh học khác nhau.
• Âm nhạc: Các hệ thống AI tạo sinh như MusicLM có thể được đào tạo trên các dạng sóng âm thanh của âm nhạc được ghi lại cùng với chú thích văn bản, để tạo ra các mẫu âm nhạc mới dựa trên các mô tả văn bản như một giai điệu violin êm dịu được hỗ trợ bởi một đoạn riff guitar méo mó.[25]
• Video: AI được đào tạo trên video có chú thích có thể tạo ra các clip video có tính nhất quán về mặt thời gian. Ví dụ bao gồm Gen1 và Gen2 của RunwayML[26] và Make-A-Video của Meta Platforms.[27]
• Hành động của robot: AI được đào tạo trên chuyển động của một hệ thống robot có thể tạo ra các quỹ đạo mới cho hoạch định chuyển động. Ví dụ, UniPi của Google Research sử dụng các lời nhắc như "nhặt bát màu xanh lam" hoặc "lau đĩa bằng miếng bọt biển màu vàng" để điều khiển chuyển động của cánh tay robot.[28]